Claw-Anything: Benchmarking Always-On Personal Assistants with Broader Access to User's Digital World
Claw-Anything：评测始终在线的个人助手在全访问数字世界中的能力
🧭 个人助手评测 · 长周期上下文与主动式帮助 ★ 深度解读
Beijing Institute of Technology · Huawei Technologies Co., Ltd · Peking University · Institute of Automation, Chinese Academy of Sciences
首次构造涵盖长周期事件流、跨服务依存、多设备协同的个人助手基准，暴露当前模型仅34.5% pass@1的差距，并利用数据生成管道将基线提升23.7%。
📌 工作参考价值（4 点）
- 长周期事件流的模拟与注入：电商/推荐系统可借鉴该方法，通过多轮事件注入自动生成用户长期行为序列（浏览、购买、比价），构造带有噪声和冲突的真实上下文，训练具备长期记忆的推荐Agent。
- 跨服务信息协调与冲突消解：用户画像往往分散在搜索、邮件、日历等多源数据中，存在不一致。该基准中的冲突检测与推理机制可直接用于推荐场景，提升Agent对跨渠道信息的一致性判断。
- 自动化环境与任务生成管道：从种子 persona 开始迭代合成数字世界+可执行验证器的方案，可作为生成式推荐中构造多样化训练环境的脚手架，实现大规模自动标注与 curriculum 设计。
- 主动式推荐评测的设计：任务中包含无需显式请求的主动式协助，且当前模型在此项上得分很低（pass@1仅6.7%）。电商中可迁移其评估思路，衡量“何时推送推荐”的时机与上下文理解能力。